Coupled Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback
耦合校准与学习：在没有目标域奖励反馈的情况下缓解LLM蒸馏中的教师偏差
🧭 LLM蒸馏中的教师偏差校准
MIT · UIUC
提出CCL算法，通过源域反馈校准教师再训练学生，消除教师偏差且收敛到最优学生
📌 工作参考价值（4 点）
- 跨域蒸馏推荐系统时，若目标场景无奖励反馈（如新业务、冷启动），可利用源场景已有反馈先校准教师模型，再生成伪标签训练学生，避免教师偏差直接迁移。
- 采用迭代耦合优化：每轮用源域反馈校准教师，再用校准后的教师训练学生，学生更新后反哺下一轮校准，适合在线迭代冷启动。
- 注意直接模仿教师（监督微调）在分布偏移下可能持续偏离最优策略，即使教师奖励更高；需要主动校准而非单纯正则化匹配。
- 工程上可借鉴 token-level branching 思想，对生成序列进行部分采样和校准，降低方差并稳定训练。